Quách Tử Nghi quê ở Hoa Châu, huyện Trịnh (nay là huyện Hoa, tỉnh Thiểm Tây). Tổ 6 đời là Quách Trí (郭智), người Tấn Dương, Thái Nguyên (nay là Thái Nguyên, Sơn Tây), làm Thái thú quận Trung Sơn, rồi Thứ sử Dĩnh Châu thời Bắc Ngụy. Tổ 5 đời Quách Tiến (郭进), làm chức Tư mã Đồng Châu thời Tây Ngụy, em trai của Thái phó Quách Huy thời nhà Tùy. Cha ông là Quách Kính Chi (郭敬之), từng giữ chức Thứ sử 5 châu dưới thời Đường, tặng Kì Quốc công (祁国公). Mẹ ông là Hướng thị (向氏), phong Ngụy Quốc phu nhân (魏国夫人).

Quách Tử Nghi được mô tả là người cao hơn 6 thước[3], dáng vẻ anh dũng[4]. Quách Tử Nghi theo đuổi nghiệp võ, thi đỗ đầu trong một kỳ thi, được bổ nhiệm làm "Trưởng sử tả vệ".

Trong vài chục năm cho đến trước năm 755, Quách Tử Nghi không có đóng góp nào đặc biệt trên quan trường.